Сбер AI: два исследования — рекомендательные системы из LLM и метрика Persistence
Источник: https://t.me/SberAIScience/4163
Краткое содержание
Анонс двух работ Центра практического искусственного интеллекта Сбера.
«Компактные рекомендательные системы». Предлагается способ переноса знаний из LLM в компактные рекомендательные модели: на этапе обучения по истории взаимодействий и текстовым данным формируется профиль пользователя (предпочтения, поведение), переводится в вектор, с которым выравниваются внутренние представления рекомендательной модели. При инференсе тяжёлая модель уже не нужна. Результаты на ML‑20M: NDCG@10 вырос на 5,62%; скорость выдачи рекомендаций — в 190 раз быстрее.
«Метрика Persistence для выбора архитектуры». Метрика основана на топологическом анализе данных: над множеством точек в пространстве эмбеддингов строится фильтрация Вьеториса‑Рипса, а суммарная персистентность топологических признаков отражает геометрическое разнообразие. Применения: оценка качества эмбеддингов без разметки, подбор оптимальной архитектуры, определение момента остановки обучения. Всё — без участия человека и тестовых меток; по заявлениям авторов, качественнее существующих подходов.
Обе работы позиционируются как способ сделать обучение моделей эффективнее и дешевле.
Значимость
Технический научно‑популярный анонс корпоративной исследовательской лаборатории РФ в русле мейнстримных задач 2024–2026 гг. (distillation больших моделей в компактные; метрики качества эмбеддингов через топологию). Репрезентативен для госкорпоративного AI‑дискурса; конкретные бенчмарк‑результаты (NDCG@10 +5,62%, скорость ×190) заявляются в телеграм‑формате без ссылки на открытый препринт/бенчмарки.
🧾 Транскрипт (формат)
ПРОКАЧАЙТЕ СВОЮ ИИ-МОДЕЛЬ 🤩
Источник: https://t.me/SberAIScience/4163
ПРОКАЧАЙТЕ СВОЮ ИИ-МОДЕЛЬ 🤩
Учёные Центра практического искусственного интеллекта Сбера совместно с коллегами представили два исследования, которые делают обучение моделей легче и дешевле 🤩
🤩 Компактные рекомендательные системы Был предложен новый способ переноса знаний LLM в компактные рекомендательные модели
Как работает: на этапе обучения по истории взаимодействий и текстовым данным формируется профиль пользователя — его предпочтения и поведение. Он переводится в вектор, с которым выравниваются внутренние представления рекомендательной модели
В итоге при выдаче рекомендаций реальному человеку тяжёлая модель уже не нужна
Результаты 🟣 На датасете ML-20M точность NDCG@10 выросла на 5,62% 🟣 Скорость создания рекомендаций выросла в 190 раз
🤩 Метрика для выбора лучшей архитектуры Разработана метрика Persistence, основанная на топологическом анализе данных
Как работает: над множеством точек в пространстве эмбеддингов строится фильтрация Вьеториса-Рипса, а суммарная персистентность топологических признаков отражает геометрическое разнообразие этого пространства
Метрика позволяет 🟣 Оценивать качество эмбеддингов без разметки 🟣 Подбирать оптимальную архитектуру модели 🟣 Определять, когда лучше остановить обучение
И всё это — без участия человека и тестовых меток. Метод оказался качественнее существующих подходов и теперь помогает экономить GPU-часы, ускоряя разработку и вывод ИИ-решений на рынок
Оба подхода делают обучение моделей эффективнее: меньше ручной работы, меньше затрат и высокие результаты 🤩
🔥 — хотим ещё больше новых открытий